IV-CoT:隐式视觉思维链实现结构感知的文本到图像生成
🧭 多模态生成 · 隐式视觉链式推理
NLPR, Institute of Automation, Chinese Academy of Sciences · Ant Group · The University of Hong Kong
提出隐式视觉思维链推理,将条件查询分解为潜层结构规划与语义渲染级联,在单次前向中提升生成图像的结构遵循能力。
📌 工作参考价值(4 点)
- 主要学术贡献,但提供的结构-语义分解式生成框架可启发电商场景下的可控商品图生成:先用隐式查询规划物品属性、数量、空间关系,再渲染纹理细节,提升复杂广告素材的指令遵循度。
- 训练时仅用草图作为结构监督、推理时完全隐式的设计,可用于业务中需要轻量级中间控制的多模态生成任务,避免增加在线时延。
- 对于搜索推荐系统中 Agent 驱动的图文混合输出,借鉴这种级联潜空间规划思路,可能改善多约束条件下的生成一致性。
- 整体而言,方法面向通用 T2I 结构控制,直接迁移到推荐检索场景的路径较窄,更多是提供一种多模态生成质量优化的技术储备。
少数通道描绘全貌:揭示扩散Transformer中的大规模激活
🧭 扩散Transformer · 大规模激活语义分析
University of Modena and Reggio Emilia, Italy · University of Pisa, Italy
扩散Transformer中极稀疏的大规模激活通道是语义信息的载体,控制生成质量、空间布局并支持无训练的语义迁移
📌 工作参考价值(4 点)
- 在电商商品图生成中,可定位大规模激活通道,通过替换这些通道的值实现细粒度属性控制(如颜色、材质、风格),无需重训模型。
- 生成式推荐场景下,将用户/物品描述作为文本条件,利用大规模激活通道的迁移性,生成跨语义的个性化插值图像或推荐解释。
- 推理加速:发现仅极少数通道起决定性作用,可设计稀疏计算策略,在推理时跳过低贡献通道,显著降低计算量。
- 对于Agent系统中的视觉生成模块,借鉴该机制可实现zero-shot的语义技能迁移,即保留画面结构但改变语义内容,增强多模态交互灵活性。